从图搜索入手改进学习型稀疏检索
🧭 稀疏检索 · 图索引加速
MIT CSAIL · ISTI-CNR · Linkup · University of Pisa
提出 GRIP 图索引系统，将倒排启发式融入图搜索，在 MS MARCO v2 上比 Seismic 快 2.5 倍
📌 工作参考价值（4 点）
- 如果业务在用 SPLADE、BGE-M3 sparse 等做大规模召回，不要默认倒排索引最优；可以评估 GRIP 这类图索引在商品/广告库上的 recall-latency，尤其在线服务对 95% recall@10 敏感时。
- 三个 trick 可拆开迁移：term-based entry point seeding 可插到 HNSW 等通用图 ANN 的初始节点选择；sparse sketching 适合高维稀疏 embedding 的快速距离裁剪；sparse partition-based 构图可适配电商 SKU 或类目聚集的稀疏分布。
- 如果线上同时维护倒排和图索引，可以用倒排表的高权重 term 作为图入口点或构图先验，降低重构图成本；增量更新时优先围绕高分词、高曝光 item 重建局部图。
- 注意标准 dense ANN 直接套到 sparse vectors 效果差，迁移前要做小规模 benchmark，关注稀疏度、term 分布和维度差异。
面向学习型稀疏检索的紧凑高效索引
🧭 稀疏检索索引压缩 · SEISMIC ★ 深度解读
ISTI-CNR · University of Pisa · Linkup
用 medoid 替代 block summary，并压缩前向索引组件与值，实现同等精度下最多 5.3× 提速、约 3× 省内存
📌 工作参考价值（4 点）
- SEISMIC 类两段式检索可直接把 block summary 换成 medoid：块元数据从几百字节稀疏向量缩到一个 8 字节 doc id，省下的空间可用于更细分块；召回下降通过调低 heap_factor（如 0.9→0.7）补偿，适合内存敏感场景。
- 前向索引压缩与 selector 解耦，可单独接入 KANNOLO/HNSW 等已有系统：先用递归图二分重排 vocabulary，再对 delta-gap 做 8 整数块 SIMD bit-packing，配合 gather/FMA 融合 decode 与点积，避免 decompress-then-process 的内存墙；在 SPLADE-v3 上可近半减前向索引内存。
- 值量化优先考虑 per-component 4-bit：SPLADE 类非负权重可近似 v≈w*k 去掉 offset，每条匹配仅保留一次 FMA；k-means centroid 量化在低 bit 下比 scalar 更稳，可用一半 8-bit 内存恢复大部分精度。
- 若业务有“短 query、长 document”的 inference-free retriever 或 push 选词场景，可用 JUMPDOT：固定 16 entry/块，按 query component 与 block max 跳过不匹配块，获得约 2.1–2.4× 加速，额外内存开销 <2%。
可学习软Top-K与逐项阈值自适应稀疏优化用于高效检索
🧭 神经稀疏检索自适应稀疏化
University of California, Santa Barbara
提出可学习软Top-K、逐项阈值和FLOPs正则化联合稀疏化方案，大幅缩短LLM稀疏检索向量长度并保持效果
📌 工作参考价值（4 点）
- 可学习软Top-K替代硬Top-K：将稀疏化过程变成可微操作，允许端到端训练时动态调整保留项数量，避免离散选择带来的梯度断裂，适合嵌入到现有召回模型的训练流程中。
- 逐项阈值（per-term thresholding）：为每个词项学习独立的剪枝阈值，而非全局统一阈值，能更好适应长尾词频分布，在电商搜索词表极大且稀疏的场景下尤其有效。
- FLOPs正则化直接约束推理计算量：相比仅用L1正则，显式优化FLOPs能更精准地控制延迟和资源消耗，可以在保持召回质量的前提下，为线上服务设定计算预算。
- 工程收益明确：在MS MARCO和BEIR上显著降低平均查询/文档长度，可直接迁移到大规模电商搜索或推荐召回，减少倒排索引存储开销和查询延迟，适合对延迟敏感的生产环境。
GPUSparse：GPU并行倒排索引加速学习稀疏检索
🧭 GPU加速稀疏检索系统
MIT-IBM Watson AI Lab
通过GPU并行倒排索引与批量scatter-add融合核实现SPLADE精确评分，在MS MARCO上较CPU加速235倍
📌 工作参考价值（4 点）
- 若业务使用稀疏模型（如电商搜索中的商品文本召回），可将倒排索引与评分逻辑移植到GPU，通过块对齐posting list及warp-coalesced访问优化内存带宽，大幅降低延迟。
- 批量scatter-add核融合思想可直接借鉴：将query-term匹配的score累加到doc-tensor，省去中间遍历开销，适用于类似向量化召回评分的场景。
- 系统设计上，采用query-batch并行处理提升GPU利用率，在实时服务中结合动态batch组装，可平衡延迟与吞吐。
- Triton编写的融合kernel权衡了工作效率与带宽效率，对自研CUDA kernel的团队有参考价值，避免逐term展开导致利用率低下的问题。
重新缩放MLM-Head以实现神经稀疏检索
🧭 神经稀疏检索 · MLM-head尺度校正
Korea University · Independent
发现SPLADE训练中MLM-head尺度不匹配导致训练崩溃，提出初始化时简单缩放修正，稳定训练并提升大骨干检索性能
📌 工作参考价值（4 点）
- 在电商搜索或推荐系统的召回阶段，若使用SPLADE类稀疏检索模型，替换更强预训练骨干时出现训练不稳定，可检查MLM-head的L2范数，并在初始化时进行尺度缩放（如除以范数均值），零成本、不改架构，即可恢复稳定训练。
- 该发现提示：对于依赖预训练MLM-head输出构造稀疏表示的模型，模型升级时不能只看编码器能力，还要注意输出头的尺度校准；类似问题可能存在于其他用MLM-head logits构建匹配分数的检索或排序模型中。
- 广告搜索场景中，稀疏词项表示能提供可解释的召回结果，此技巧可帮助团队更放心地将现代预训练模型（如ModernBERT）应用于生产级稀疏检索，提升召回率而无需担心训练崩溃。
- 在Agent系统中若用稀疏检索作为记忆或知识召回模块，更换更强的语言模型时，推荐先检查并校正MLM-head尺度，避免对比训练不稳定导致性能下降。
基于学习稀疏检索和列表重排序的多轮RAG系统
🧭 多轮对话RAG · 稀疏检索 · LLM重排序
University of Amsterdam
结合学习稀疏检索与LLM重排序的多轮RAG管道，利用完整对话历史提升跨域泛化与鲁棒性
📌 工作参考价值（4 点）
- 多轮对话历史的全上下文利用：使用LLM基于完整对话历史进行查询重写、重排序和生成，可迁移至电商客服/购物助手的多轮对话状态跟踪，提升连贯性。
- 学习型稀疏检索（LSR）的跨域泛化：在不同商品类目或业务场景下无需频繁微调，适合电商导购、售后等多种语域快速冷启动。
- 无法回答查询的识别与处理：在客服场景中可借鉴其拒答/转人工机制，提升系统安全性与用户体验。
- 列表式重排序增强候选质量管理：利用LLM长上下文进行listwise重排序，可在对话式推荐中对候选商品列表进行全局排序，提升推荐精度。